Danh xưng Đại tướng là một từ Hán Việt, bắt nguồn từ một chức vụ võ quan trong thời phong kiến. Trong triều đình phong kiến các quốc gia ảnh hưởng văn minh Trung Hoa, chức vụ đại tướng (hay đại tướng quân) thường không phải là chức võ quan cao cấp nhất. Như trong lịch sử Việt Nam thời nhà Lý (1009-1225) chia các chức quan võ như sau: Đô thống, Nguyên soái, Tổng quản, Khu mật sứ, Khu mật tả hữu sứ, Tả hữu kim ngô, Thượng tướng, Đại tướng, Đô tướng, Tướng quân các vệ, chỉ huy sứ, vũ vệ, hỏa đầu, các binh tào Vũ Tiệp và Vũ Lâm. Các chức quan võ này đều thấp hơn Thái úy và nội ngoại Hành điện Đô trị sự, Kiểm hiệu Bình chương sự. Phẩm trật các hàng quan võ đều có chín bậc (nhất phẩm, nhị phẩm, v.v.) nhưng giữa chức và phẩm trật thì chưa thấy sách nào ghi lại mối tương quan của chúng.

Một ngoại lệ tồn tại trong lịch sử Nhật Bản là chức vụ Chinh di Đại tướng quân, thường được biết với tên gọi Shōgun. Nguyên thủy đây chỉ là chức vụ võ quan của triều đình cử đi đánh dẹp ở phía Đông Nhật Bản. Tuy nhiên về sau các tướng quân phát triển thế lực, lấn át cả triều đình, trở thành nhà cai trị trên thực tế của đất nước Nhật Bản, kéo dài qua các thời kỳ Mạc phủ Kamakura (1185-1333), Ashikaga (1336-1573) và Tokugawa (1603-1868), chỉ chấm dứt với cuộc Minh Trị duy tân.

Danh xưng Đại tướng được dùng lần đầu với ý nghĩa là một cấp bậc quân sự hiện đại cũng bắt đầu từ Nhật Bản vào năm 1867 khi Lục quân Đế quốc Nhật Bản được thành lập và chức vụ Shōgun bị bãi bỏ. Cấp bậc Đại tướng (大将, taisho) được ấn định là cấp bậc võ quan cao cấp nhất trong Lục quân Đế quốc Nhật Bản. Không lâu sau, cấp bậc này cũng được sử dụng trong Hải quân Đế quốc Nhật Bản. Từ đó hình thành 2 cấp bậc phân biệt tương đương là Lục quân Đại tướng (陸軍大将, Rikugun-taishō) và Hải quân Đại tướng (海軍大将, Kaigun-taishō).

Hiện nay, tương đương cấp bậc General (Quân đội Mỹ; Quân đội Vương quốc Anh, có khi được gọi không chính thức là full General để không bị nhầm lẫn với cấp tướng nói chung), Генерал армии (Quân đội Nga), Général d'Armée (Quân đội Pháp, có 5 sao), Thượng tướng (上將 Shang Jiang với 3 sao, Quân đội Trung Quốc).

Câp bậc tương đương trong Hải quân Hoàng gia Anh, Mỹ và Pháp là Đô đốc, trong Hải quân Nga là Đô đốc Hạm đội (адмирал флота), có 4 sao. Đại tướng Không quân Anh được gọi là Air Chief Marshal.

Quân đội Liên Xô và Quân đội Nga trước kia có bậc Soái tướng, Nguyên soái quân binh chủng, tương đương với Đại tướng: Nguyên soái không quân (маршал авиации), Nguyên soái pháo binh (маршал артиллерии), Nguyên soái công binh (маршал инженерных войск), Nguyên soái bộ đội tăng thiết giáp (маршал бронетанковых войск), Nguyên soái bộ đội thông tin liên lạc (маршал войск связи). Các cấp bậc này đã lần lượt bị bãi bỏ năm 1984 và năm 1993.